DnA: Denoising Attention for Visual Tasks
DnA：面向视觉任务的去噪注意力机制
🧭 去噪注意力机制提升模型判别力
University of Central Florida · University of North Carolina at Charlotte
通过正负查询分离与子空间排斥设计，消除softmax注意力中的噪声模式，提升ViT/B等视觉模型判别力。
📌 工作参考价值（4 点）
- 用户行为序列（点击/购买）常含误触、偶然兴趣等噪声，可借鉴DnA的正/负query思想：设计正query提取目标意图，负query抑制干扰行为，提升序列建模质量。
- 电商多模态场景（商品图片+文本）中，视觉注意力易被背景、无关细节干扰，可将DnA嵌入ViT backbone，增强物品表征的判别力。
- 子空间分离增大主角的想法可迁移到embedding层：对不同属性的特征（如类目、品牌）学习相互正交的子空间，避免信息混杂，提升特征区分度。
- 该方法轻量且即插即用，替换标准softmax无需大幅改动模型结构，适合快速验证能否抑制推荐模型中的注意力噪声问题。